กาวูร์เกิดเมื่อวันที่ 10 สิงหาคม พ.ศ. 2353 ที่เมืองตูริน แห่งราชอาณาจักรปีดมอนต์-ซาร์ดิเนีย (Piedmont - Sardinia) เป็นบุตรคนที่สองของมาร์เกเซ มีเกเล เบนโซ ดี กาวูร์ (Marchese Michele Benso di Cavour) และอาเดเล ดี เซลลอน (Adele di Sellon) ตระกูลกาวูร์เป็นตระกูลเก่าแก่ซึ่งเคยรับราชการทหารและเป็นข้าราชการพลเรือนในสมัยราชวงศ์ซาวอย ตั้งแต่คริสต์ศตวรรษที่ 16 มารดาของกาวูร์เป็นชาวเจนีวาโดยกำเนิดและนับถือศาสนาคริสต์นิกายโปรเตสแตนต์ลักธิคัลแวงและเป็นผู้นำอิทธิพลของลัทธิเสรีนิยมจากนครเจนีวามาสู่ครอบครัว

กาวูร์มีพ่อทูนหัวและแม่ทูนหัวคือ เจ้าชายกามิลโล บอร์เกเซ (Camillo Borghese) และเจ้าหญิงพอลีน โบนาปาร์ต (Pauline Bonaparte) ซึ่งเป็นพระขนิษฐาที่จักรพรรดินโปเลียนที่ 1 โปรดปรานมากที่สุด กาวูร์จึงมีชื่อแรกว่า "กามิลโล" เช่นเดียวกับพ่อทูนหัวของเขา

ระหว่าง พ.ศ. 2363 - 2369 กาวูร์ได้เข้าศึกษาวิชาการทหารในโรงเรียนนายร้อยที่เมืองตูริน และใน พ.ศ. 2367 เขาได้รับแต่งตั้งเป็ฯมหาดเล้กประจำพระองค์ของเจ้าชายชาลส์ แอลเบิร์ต (Charles Albert) แต่กาวูร์ไม่สนใจหรือตื่นเต้นเท่าใดนัก เขากลับไม่พอใจในเครื่องแบบของมหาดเล็กซึ่งเขาพิจารณาว่าแท้จริงแล้วก็เครื่องแบบคนใช้ดี ๆ นี่เอง เมื่อกาวูร์สำเร็จการศึกษาและได้รับสัญญาบัตรนายทหารแล้ว เขาได้แสดงความปิติยินดีอย่างเปิดเผยที่จะได้ถอดเครื่องแบบมหาดเล็กทิ้งไป ทำให้เจ้าชายชาลส์ แอลเบิร์ต กริ้วมากถึงกับขับกาวูร์ออกไปจากราชสำนัก